Thân phụ ông là cụ Lâm Văn Phận, nguyên là một nhà giáo tại Cần Thơ. Sau năm 1945, tham gia Việt Minh và gia nhập Đảng Lao động Việt Nam và từng có thời gian giữ chức Chủ tịch Ủy ban Liên Việt tỉnh Cần Thơ. Sau năm 1954, tập kết ra Bắc và mất ở đó.[1]

Ông là người con thứ 2 trong gia đình. Chị lớn của ông là Lâm Thị Phấn, sinh năm 1918, có tài liệu ghi được gả cho Công tử Bạc Liêu Trần Trinh Huy, là một tình báo viên nổi tiếng của Việt Minh, Thiếu tá tình báo Quân đội Nhân dân Việt Nam, Anh hùng Lực lượng Vũ trang. Bà cũng là người được Ban binh vận giao nhiệm vụ vận động tướng Phát đầu hàng sớm vào tháng 4 năm 1975 nhưng không thành công. Cuộc đời bà cũng được dựng thành phim với nhân vật Bạch Cúc trong phim "Người đẹp Tây Đô" của đạo diễn Lê Cung Bắc, do diễn viên Việt Trinh thủ vai Bạch Cúc.[1]

Ông còn người em gái kế tên là Lâm Thị Phết và người em trai út tên là Lâm Văn Phiên, nguyên là Thiếu tá trong Quân chủng Không quân của Việt Nam Cộng hòa.